Bayesian learning for hidden Markov model with Gaussian mixture state observation densities

An investigation into the use of Bayesian learning of the parameters of a multivariate Gaussian mixture density has been carried out. In a framework of continuous density hidden Markov model (CDHMM), Bayesian learning serves as a uni ed approach for parameter smoothing, speaker adaptation, speaker clustering and corrective training. The goal is to enhance model robustness in a CDHMM-based speech recognition system so as to improve performance. Our approach is to use Bayesian learning to incorporate prior knowledge into the training process in the form of prior densities of the HMM parameters. The theoretical basis for this procedure is presented and results applying it to parameter smoothing, speaker adaptation, speaker clustering, and corrective training are given. Zusammenfassung. Wir berichten  uber eine Untersuchung zum Einsatz der Bayes'schen Lerntheorie zur Schaetzung der Parameter von multi-variaten Gauss'schen Verteilungsdichten. Im Rahmen eines \Hidden Markov Modells" mit kontinuierlicher Dichteverteilungen (CDHMM) stellt die Bayes'sche Theorie einen einheitlichen Ansatz dar zur Parameterglaettung, Sprecheradaption, Sprecherklusterung und zum korrigierenden Training. Das Ziel ist, die Modellrobustheit eines auf CDHMM basierenden Spracherkennungssystems in Hinblick auf die Ergebnisse zu verbessern. Unser Ansatz ist, Bayes'sches Lernen zu benutzen, um Vorwissen in Form von initialen Dichten der HMM-Parameter in den Trainingsprozess einzubringen. Wir stellen die theoretische Basis f ur dieses Verfahren dar und wenden es zur Glaettung von Parametern, Sprecheradaption, Sprecherklusterung und im korrigierenden Training an. R esum e. Une etude sur l'utilisation de l'apprentissage bay esien des param etres de densit ees multigaussiennes a et e e ectu ee. Dans le cadre des mod eles markoviens cach es a densities d'observations continues (CDHMM), l'apprentissage bay esien est un outil tr es g en eral applicable au lissage des param etres, a l'adaptation au locuteur, a l'estimation de mod eles par groupe de locuteurs et a l'apprentissage correctif. Le but est d'augmenter la robustesse des mod eles d'un syst eme de reconnaissance a n d'en am eliorer les performances. Notre approche consiste a utiliser l'apprentissage bay esien pour incorporer une connaissance a priori dans le processus d'apprentissage sous forme de densit es de probabilit es des param etres des modeles markoviens. La base th eorique de cette proc edure est pr esent ee, ainsi que les r esultats obtenus pour le lissage des param etres, l'adaptation au locuteur, l'estimation de mod eles 3 propres a chaque sexe, et l'apprentissage correctif. 4